[IREE] Inference & Benchmark #590
Conversation
Vladislav-Denisov
force-pushed
the
feat/iree
branch
from
85d30e8 to
8cf3fbf
Compare
valentina-kustikova
left a comment
valentina-kustikova
left a comment
There was a problem hiding this comment.
@Vladislav-Denisov, посмотрела код, написала небольшие комментарии. Надо еще отследить, что проверка стиля кодирования везде проходит.
src/inference/inference_iree.py
Outdated
|
|
||
| def load_iree_model(vmfb_buffer): | ||
| try: | ||
| config = ireert.Config('local-task') |
There was a problem hiding this comment.
'local-task' - единственное возможное значение параметра функции? Не понятно, имеет ли смысл выносить в константы или параметры.
There was a problem hiding this comment.
Все доступные варианты помимо local-task описаны в табличке здесь
Я захардкодил, потому что пока что рассматривал только запуск на CPU.
| self._model_path = args.model | ||
|
|
||
| def get_input_layer_names(self, model): | ||
| return ['input'] |
There was a problem hiding this comment.
А здесь точно для всех моделей одинаковое название входного слоя будет? Надо подумать, но скорее всего название входного слоя придется отдавать через параметры.
There was a problem hiding this comment.
Для IREE на самом деле не требуется наименование входного слоя.
Он использует наименование функции, в скомпилированном модуле, которую потребуется исполнить https://github.com/Vladislav-Denisov/dl-benchmark/blob/70526453d3c0421d93746556507e7c6096ed0cbf/src/inference/inference_iree.py#L59
Входной слой захардкожен, потому что он требуется для некоторых методов IOAdapter
Vladislav-Denisov
force-pushed
the
feat/iree
branch
2 times, most recently
from
4192375 to
40cfd33
Compare
Vladislav-Denisov
force-pushed
the
feat/iree
branch
from
40cfd33 to
15ac8f9
Compare
Vladislav-Denisov
changed the title
2 participants
No description provided.